Albert chào đời tại Schloss Rosenau, gần Coburg thuộc nước Đức, là con trai thứ hai của Ernest III, Công tước Saxe-Coburg-Saalfeld với người vợ đầu tiên, Louise xứ Saxe-Gotha-Altenburg[1]. Vợ tương lai của Albert là Nữ vương Victoria chào đời sớm hơn trong cùng năm và họ được đỡ đẻ bởi cùng một bà mụ[2].

Albert được rửa tội theo nghi thức Giáo hội Luther ngày 19 tháng 9 năm 1819 ở sảnh Marble tại Schloss Rosenau bằng những giọt nước thánh lấy từ dòng sông quê hương, Itz[3]. Những người đỡ đầu cho ông gồm có bà nội, Thái công nương xứ Saxe-Coburg-Saalfeld; ông nội, Công tước Saxe-Gotha-Altenburg; Áo hoàng Franz II; Công tước Teschen; cùng Emanuel, Bá tước xứ Mensdorff-Pouilly.[4] Năm 1825, ông chú của Albert, Friedrich IV, Công tước xứ Saxe-Gotha-Altenburg, qua đời. Cái chết của ông ta đánh dấu sự tái tổ chức Công quốc Saxon vào năm sau và phụ thân của Albert trở thành nhà cai trị đầu tiên của công quốc Saxe-Coburg và Gotha.[5]

Vào thời thơ ấu, Albert và anh trai của mình, Ernest, phải chứng kiến cuộc hôn nhân bất hạnh của cha mẹ họ, cuối cùng dẫn đến li thân rồi li hôn.[6] Sau khi mẫu thân rời khỏi vương đình trong năm 1824, bà tái hôn với tình nhân, Alexander von Hanstein, Bá tước xứ Polzig và Beiersdorf. Bà không bao giờ có thể gặp lại các con mình, và sau đó chết vì bệnh ung thư ở tuổi 30 năm 1831.[7]

Năm sau, cha của họ kết hôn với người cháu ruột cũng là chị họ của các con ông, Công nương Marie xứ Württemberg; cuộc hôn nhân này không hạnh phúc, tuy nhiên, Marie không có nhiều ảnh hưởng đến các con riêng của chồng[8]. Hai anh em Albert được dạy học tại tư gia với Christoph Florschütz và sau đó đi học tại Brussels, ở đó Adolphe Quetelet là một trong những người dạy kèm của họ.[9] Cũng giống như các vương công người Đức khác, Albert vào Đại học Bonn, ở đây ông được học luật, kinh tế chính trị, triết học và lịch sử nghệ thuật. Ông giỏi về chơi nhạc và thể thao, đặc biệt là các môn nhảy rào và cưỡi ngựa.[10] Các giảng viên ở Bonn bao gồm triết gia Fichte cùng nhà thơ Schlegel.[11]